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Запропоновано технологію, що реалізується за допомогою кросплатформених засобів, для 
моделювання жестових одиниць жестової мови, динамічного відображення станів між жестовими 
одиницями при поєднанні їх у жестові конструкції (слова, речення). Технологія реалізує відтворення 
змодельованих жестових одиниць і конструкцій за допомогою просторової віртуальної моделі руки. За 
допомогою кросплатформених засобів, технологія має можливість запуску на множині платформ без 
імплементації під кожну платформу. 
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Вступ 

Спілкування за допомогою жестів є одним з трьох основних засобів передачі 
інформації між людьми, доповнюючи символьну (текстову) та голосову (мовленнєву) 
комунікації. Жестову мову зазвичай використовують люди з вадами слуху для 
спілкування між собою, та зі своїм оточенням, що збільшує коло людей яким необхідно 
володіти нею. Відзначимо, що жестова мова є універсальною в тому розумінні, що 
текстову інформацію можна передати жестами, а коли жестів для певних слів не існує 
(імена, назви міст, територій тощо), то їх показ здійснюється по буквах за допомогою 
дактильної абетки. 

Сучасні технічні засоби дозволяють швидко та майже без обмежень накопичувати 
інформацію, оброблювати її як у хмарних обчисленнях (модель, що забезпечує 
повсюдний, зручний доступ за запитом через мережу до віртуального кластеру 
обчислювальних ресурсів) (11, так і локально на пристрої, та завдяки швидким каналам 
передачі даних повертати результати обчислень до користувача. Все це актуально й для 
жестової мови, для накопичення та відтворення якої тепер доступний широкий загал 
різноманітних пристроїв та платформ, як стаціонарних так і мобільних, як потужних, 
так і енергоефективних. Актуальною проблемою є перенесення відтворення жестової 
мови на всі ці пристрої, для використання людьми з вадами слуху зокрема та всіма 
користувачами в цілому. У даній проблемі головним є розгортання уніфікованої 
технології на різноманітті доступних платформ (апагоїй, 105, уутпдаомиз, Ппих, ууеб) без 
необхідності портування та переписування з початку. 
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Одним із засобів вирішення поставленої проблеми з візуалізації та відтворення 
жестової мови є кросплатформена розробка та кросплатформене програмне 
забезпечення. На відміну від одноплатформенних технологій, які функціонують лише 
на специфічній платформі під яку вони розроблялись, "кросплатформеність надає 
програмному забезпеченню можливість виконання на більш ніж одній платформі з 
однаковою (або майже однаковою) функціональністю" |2|. Термін "платформа" в 
даному контексті може відноситися до одного або комбінації кількох визначень: 1) тип 
операційної системи (наприклад Місгобоїйї М/тпаомуз, Мас 05 Х, пих, 5оіагі8, Апагоїд, 
ІО05); 2) тип процесора (наприклад х36, РомегРС, АЕБКМ); 3) тип апаратного 
забезпечення (наприклад, таїпітате, робоча станція, персональний комп'ютер, 
мобільний пристрій) |2). Кросплатформені технології стоять в одному ряду із 
технологіями незалежними від платформи (такі, що здатні функціонувати на будь-якій 
платформі, наприклад веб-додатки) |2| та кросплатформеними віртуальними машинами 
(технології, що підтримують індивідуальні процеси чи системи залежно від рівня 
абстракції, на якому відбувається віртуалізація) (31. 

У даній статті ї запропоновано вирішення проблеми за допомогою 
кросплатформеності, з урахуванням характеристик різних класів пристроїв (типу 
апаратного забезпечення, потужності центрального процесора, кількості оперативної 
пам'яті, наявності мережі Інтернет) та налаштування рівня деталізації тривимірної 
моделі кисті та пальців руки людини з анімацією їх рухів. 

Таким чином, кросплатформена інформаційно-комунікаційна технологія для 
моделювання дактильної жестової мови є актуальною та важливою проблемою у плані 
розробки нових підходів до побудови кросплатформених систем та їх алгоритмічної та 
програмної реалізації. 

Існуючі підходи до моделювання жестової мови та їх реалізації на різних платформах 

Моделювання жестів є проблемою, яка розглядалася як самостійно, так і у рамках 
задачі моделювання і розпізнавання жестів та побудови комп'ютерних засобів для вив- 
чення жестової мови. Однією з систем для відображення жестової мови є Атегісап 5іп5 
І апецаєе Опіїпе Ріспопагу |4), яка складається з бази відеозаписів слів та фраз пока- 
заних жестовою мовою. Відзначимо також, що керування за допомогою жестів є 
актуальною проблемою у розробках платформонезалежних систем людино-машинного 
інтерфейсу (5). Такими розробками займається ряд комерційних установ (див., 
наприклад, |61|71), проте запропоновані ними системи налаштовані на ряд заздалегідь 
визначених непов'язаних жестів, а, отже, не розв'язують проблему моделювання 
жестової мови. 

Створення моделі руки є першим кроком у задачі моделювання жестів. У статті 
13) проводиться аналіз існуючих підходів подання моделі руки, які поділяються на дві 
основні групи: просторові та часові. Перші розглядають характеристики позицій руки 
для різних жестів, другі відносяться до опису динаміки жестів. Моделювання руки у 
просторовій області може бути виконане у дво- та тривимірному просторі. 

У статті |9| наведено систему, здатну моделювати жестові анімації для заданого 
тексту. В рамках даної системи було використано статистичну модель для аналізу 
вхідного тексту та генеративний алгоритм для створення відповідних кінематично 
симульованих жестових анімацій. У рамках статті, автори надали інструмент АММІЇ, 
для анотації вхідного тексту, генератор жестів МОМА, та для анімації жестів 
використовують бібліотеку ЮрАМСЕ, розроблену в роботі |10|. Як і використана 
бібліотека, так і розробка авторів, побудовані на платформі Місто58оїї У/іпдому8 і х86 
процесора. У статті |11| автори розглядають моделювання рухів віртуального 
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персонажа для просторового відтворення жестової мови на платформі Місговбоїї 
М/ппдомуз. У статті |12|, розроблена система навчання жестовій мові, яка складається з 
двох модулів - модуля демонстрації жестів за допомогою відеозаписів та модуля 
розпізнавання жесту продемонстрованого користувачем (необхідні рукавиці), в основі 
якого використано приховану марковську модель. Система навчання побудована на 
платформі Місго8ой У/паомз і х36 процесора. 

Розпізнавання жестів на мобільних платформах розробляється у статті |13|, але 
моделювання жестів на мобільних пристроях не проводиться. 

Постановка задачі 

Необхідно запропонувати технологію для моделювання жестових одиниць 
(морфем, візем, хірем |14)) жестової мови, динамічного відображення станів між 
жестовими одиницями при поєднанні їх у жестові конструкції (слова, речення) та 
реалізувати відтворення змодельованих жестових одиниць 1 конструкцій за допомогою 
просторової віртуальної моделі руки. 

Технологія повинна розв'язати проблему запуску на вже існуючій множині 
платформ за допомогою кросплатформеності, без імплементації функціоналу під кожну 
платформу окремо. Ефективність запропонованого підходу буде показана на побудові 
кросплатформеної технології для моделювання та розпізнавання елементів дактильної 
абетки української жестової мови. 

Запропонований підхід 

Для вирішення проблеми моделювання жестових одиниць жестової мови та 
динамічного відображення шжестових конструкцій за допомогою просторової 
віртуальної моделі руки запропоновано кросплатформену технологію яка базується на 
кросплатформеній біблотеці ПЬНапа |15)| (для моделювання руки та кросплатформеній 
бібліотеці Ох (|16| для користувацького інтерфейсу, обидві бібліотеки та технологію 
імплементовано мовою програмування С-- (Рис. 1). Запропоновані засоби дозволяють 
вирішити проблему запуску технології на існуючій множині платформ. Новизна 
запропонованої технології полягає у кросплатформеності та можливості налаштування 
що надає можливість запуску технології без змін на множині платформ (різних типах 
процесорів, операційних систем та апаратному забезпеченні). 


Ціпих / М/іпдомів 
додаток 


Апагоід додаток 
моделювання жестів 


ЇО5 додаток 
моделювання жестів 


Рис. 1. Кросплатформеність та використані технології/бібліотеки 
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Перевагою кросплатформених технологій над технологіями що розробляються 
для єдиної платформи є відсутність необхідності модифікувати чи імплементувати 
заново вже наявний функціонал для іншої платформи (портування) |2|, що 
пришвидшує процес розробки та розгортання технології, та збільшує коло 
потенційних користувачів. 

Перевагою кросплатформених технологій над кросплатформеною віртуальною 
машиною та емуляторами, зокрема, є швидкодія та відсутність необхідності у 
встановленні додаткового програмного забезпечення (програмних залежностей). 

Моделювання руки 

Для побудови моделі руки людини скористаємось тим, що рука має 27 кісток, з 
них 8 кісток знаходяться в зап'ясті, 3 знаходяться у великому пальці (одна п'ясткова та 
2 фаланги), 1 4 п'ясткові та 12 фаланг знаходяться у інших пальцях |17). Кожна кістка 
з'єднується з іншими за допомогою різних видів суглобів. 

Розробка власного кросплатформеного движку для моделювання руки є 
нетривіальною задачею, тому у якості основної технології для моделювання 
тривимірної моделі руки та анімацій переходу між морфемами було обрано 
кросплатформену бібліотеку | ПЬНапа. Бібліотека  ПЬНапда здатна ефективно 
відтворювати та деформувати реалістичну модель руки яка складається з понад 70000 
полігонів. Перевагою ПЬНапа також є інтерфейс для бібліотеки ОрепСУ, що надає 
можливість виконувати обробку моделі руки засобами сотриїег у15іоп. 

Базуючись на анатомії руки, у рамках ПЬНапа було розроблено модель руки з 25 
ступенями рухливості, чотири з них розташовані у п'ястно-зап'ястному суглобі, для 
мізинця та перстеневого пальця, щоб забезпечити дуговидний рух долоні. Великий 
палець має 5 ступенів рухливості, середній та вказівний пальці мають по 4 ступені 
рухливості (п'ястно-фаланговий суглоб має два ступеня рухливості, та дистальний 1 
проксимальній міжфалангові суглоби мають кожний по одному). 

Для збереження жестів було обрано формат У АМІ. | 181, в якому жест зберігається 
в наступному вигляді: 

ЗУАМІ:1.0 госайшоп: | -9.5845758914947510е-02, 
8.3791027449819921е-09, -9.9539619684219360е-01, 
-7.5690525770187378е-01, -6.4944797754287720е-01, 
7.2881683707237244е-02, -6.4645802974700928е-01, 
7.6040601730346680е-01, 6.2246840447187424е-02 | 

рапа зоіпіз: Ппеегі)оїпіії: | 0., 0.,0. | іпеегі)оіпі2: | 0., 0., 0. |... 

Моделювання жестів 

Завдяки даній технології реалізовано "просунутий" модуль для модифікації 
існуючих жестів жестової мови та додавання нових жестів жестових мов інших абеток, 
що надає потенціал для локалізації та безперешкодного використання інформаційної 
технології для абеток інших мов (до та після модифікації, рис. 2). 

Даний модуль модифікації та додавання жестів є доступним для апаратного 
забезпечення з встановленими наступними операційними системами: тасО5, 
Ілпих, Міпдоумуз. 
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Рис. 2. Моделювання жестів 


Розробка інтерфейсу користувача 

З міркувань швидкодії та кросплатформеності, технологією для користувацького 
інтерфейсу було обрано бібліотеку Ої. Бібліотека Ос надає можливість розробити 
масштабований та кросплатформений інтерфейс, перевагою якого над існуючими 
рішеннями є швидкодія та уніфікований вигляд на множині існуючих платформ, як 
мобільних так і стільникових. Користувацький інтерфейс для технології жестової 
комунікації реалізовано за допомогою ОЇ (рис. 3). 


АБВггДдЕЄєжЗзЗИийІі іклмноОпРСТУФХЦЧчШшЩщьЬЮюЮЯяЯ 


Рис. 3. Інтерфейс користувача 


Використання кросплатформених засобів 

Запропонована інформаційна технологія, завдяки обраним кросплатформеним 
засобам для імплементації, розв'язує проблему запуску на існуючій множині платформ 
без реалізації під кожну платформу окремо. 

Програмні засоби запропоновані та використані під час імплементації 
інформаційної технології є кросплатформеними та функціонують без змін незалежно 
від операційної системи (М/іїпдоууз, Ілпих, Апагоїй, 105), типу процесора (х36, агт), та 
типу апаратного забезпечення (мобільний чи стаціонарний пристрій). 

Завдяки кросплатформеній системі побудови додатку 0Маке (19| можливо 
створити додатки для кожної платформи без необхідності портування чи зміни 
оригінального коду (рис. 1). Оскільки специфічних вимог до апаратного забезпечення у 
інформаційної технології для моделювання жестової мови немає, то існують об'єктивні 
перешкоди у швидкодії пристроїв старших поколінь. Для подолання даної проблеми 
запропоновано наступний адаптивний підхід у інформаційній технології (рис. 4). 
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База даних жестів користувача 


Ва обчислення 
ка пожалькому пристрої 


модасюваннт квот анагиї 


Отужност 


Мобільний пристрай 
маго: потужно" 


05 додаток 
моделювання жестів 


948 


користувач 


Зтагту о естановленим браужром 


Рис. 4. Загальна схема кросплаторменості та адаптивного запуску 
інформаційної технології 


У випадку мобільного додатку (105, Ападагоїд) чи додатку на пристрою зі 


стаціонарною ОС (МУ/іпдомз8, Ілпих), при інсталяції на пристрій, інформаційна 
технологія проводить аналіз наявного апаратного забезпечення та, залежно від Його 
потужності, проводить ряд налагоджень: 1) полігональність моделі руки змінюється, З 
пріоритетом до швидкодії; 2) під час повороту моделі руки змінюється крок кута, на 
який вона обертається, з пріоритетом до швидкодії (рис. 5). У випадку, якщо наявне 
апаратне забезпечення не відповідає мінімальним вимогам інформаційної технології, 
користувачу надається рекомендація вибрати "онлайновий" режим роботи, в якому 
обчислення не виконуються на апаратному забезпеченні. 
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Рис. 5. Зміна полігональності моделі руки 
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Висновки 

Запропоновано технологію, побудовану кросплатформеними засобами, для 
моделювання жестових одиниць жестової мови, динамічного відображення станів між 
жестовими одиницями при поєднанні їх у жестові конструкції. Технологія реалізує 
відтворення змодельованих жестових одиниць 1 конструкцій за допомогою просторової 
віртуальної моделі руки. 

Технологія за допомогою кросплатформеності розв'язує проблему запуску на 
існуючій множині платформ, без створення функціоналу під кожну платформу окремо. 
Таким чином, було показано ефективність технології, побудованої за допомогою 
кросплатформених засобів, на прикладі моделювання та розпізнавання елементів 
дактильно азбуки української мови жестів. 

Інформаційно-комунікаційна | технологія | розроблялася | з | можливостями 
подальшого масштабування як на рівні жестів однієї абетки, так на рівні жестів інших 
абеток. Для реалізації даної ідеї може бути використано механізм валідації нових 
жестів до загальної бази даних жестів. Кросплатформеність  інформаційно- 
комунікаційної технології та уніфікований протокол та формат передачі даних (УАМІ,) 
дозволяє використовувати ряд рішень для віддалених обчислень за допомогою хмарних 
обчислень, веб-серверів, локальних серверів використовуючи єдину базу даних жестів 
Розісгез ОЇ. 120). 
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КЕ5ОМЕ 

5.5. Копдгабик, Пи.У. Кгак 

Сго55 ріайогт 50Йкууаге їог ре деуеїортепі ої 5ієп сопітипісайїоп 5убіени: 
дасбу Іапгиаге тодеїйпе 

Сопітипісайпє уч бе5ішгеє 15 опе ої їБе Шгее таїп плеап5 ої іпіогтлайоп 
сапеті55іоп Бесмееп реорієе, аз уеП а5 а срагасіег (ех) апа убісе сопатипісацоп. 5і9п 
Іапецаєе 15 ппіуегза! їп Фе 5еп5е Ша Ше (ехі іпГогтайоп сап Бе ігап5тійей Бу єе5іигез, а5 
умеП а5 їЙ себзішгеє Гог сегіаїп ууогаз до пої ехі5( (патез8, патез ОЇ сійе8, агеа5, еїс.), Шеїг 
детопзігацоп 15 регіогтеай Бу изіпе Фе Іейег8 ої (пе Часку! аїГррабег. 

Модегп іесппіса! едшіртепі аПом/5 (о диїсКІу апа аптозі у/їфоці апу гезігісйопя і0 
асситиіаке іпіогтайоп апа ргосе55 18 гетоїеїу ог ІосаПу оп Ше Чеуїсе, апа ШапкКяа (о Фе Га5і 
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Чага ігап5Їег спаппеїз (о геїигп Ше саїсціайоп гезціїз го Ше ш5ег. АП біз 15 ие Їог 5ієп 
Іапецаєє Їог Ше асситиїацоп апа гергодисійоп ої мПріср 10 15 пом/ ауайабіє а уагіеїу ої 
деуісез апа ріайогтя. Тре апфогз5 ргоро5ед іпіогтайоп (есппоіову (о 50Їуе Фе ргобіет ої 
тодейпє ої 5ієп ипіїз5 ої 5ідп Іапеєцаєє апа Ше дупатіс Чї5ріау ОЇ 5ієп 5ігисіигеє міф 
зрапаї уїгша! папа подеі. Ап ітрогіапі 5іер їп ШФаї Ше ргоро5еад іпіогтайоп іесплоїогу 15 
сго55-ріайогт, 50 Фе абісу (о гип оп плиійпріе ріайогтя 15 аспіеуеа. ТБіз 5убіет 15 Ба5ед оп 
а сго855-ріайогт ПЬгагу Гог тодейтє папа пЬНапа апа сгоє8-ріайопт ОС їбгагу ог Фе цпяег іліетасе. 

Тре поуеПу ої Ше ргоро5ед іесппоЇїоєу 15 і5 сго55-ріайогт апа Ше розвібШіу ої 
5еїййпеє Ше Ісусе! ої дегаї! ої (Ше ігее-дітепзіопа! плоде! ої Ше Битап Бапда апа Ше 
апітайоп ої (Феїг поуетепі5з. 

Тре ехізипє сго85-ріайогт 50Йуаге (0015 Гог плодейнпя, ої Шгее-Фітепзіопа! плодеїі8 
ра8 Бееп ге5еагспеад апа а5 Ше соге іесплоїогу 10 5ітиіаке а Шгее-дітепзіопа! подає! ої папа 
апа ітапзійоп апіташоп5 Бебмеєп ппогрретез сго55 ріайогт ПЬНапа ШЬгагу Ба5 Бееп 
спо5еп. Д5 а рагі ої Бе (есппоЇїобу ії Па5 Ббееп деусіоред Бапа піодеі мів 25 Фебгеез ої 
їтеедот. П Фе ргорозеа 5ієп Іапецаєе 5ітиїацйоп кесрпоїову питбег ої роіудоп5я іп Фе 
рапа поаеі 15 а імпабіе рагатеїег, 50 Бе (есрпоіобду 15 абіе їо гип емеп оп Іому-епа Багімуаге, 

Аз а рагі ої Ше (есрпоіову Фе подйціе у/а5 ргоровей, уурісі ргоуїдеє теап5 (0 плоду 
ехі5йпя, безішгез ої 5ієп Іапецаєе апа адап пеуу безіигез ої аїррабеїз ої оїег Іапеиаєєз, 
апд аз а детоп5ігацоп, рез(итез ої ОКтаїпіап Часбу! аїрбабегй меге адаеа. 

М/Ф Фе аїт ої 5рееад апа сго85-ріайогт а (0 пбгагу м аз ргорозей аз а ГЛ (есрпоїогу. 
Ії ргоу1дез а роз5161Шсу (0 деуеіор а 5саіабіе апа сго55-ріайогт іпіегіасе, мрісп адуапіаєез 
оуег ехі5ипя 50Їийопз5 аге регіогтапсе апа а ипіпеай уїему оп Фе ехі5йпя ріайогт5. 

І Феге 15 по Багамаге (о тееї Ше піпіптит гедиїгетепіз ої іпіогтацоп іесрпоїіогу, 
ШФеге 15 ргоуїдса "опіпе" тоде їп у/БісП Бе саїсиіайоп5 апа дїзріау ої дезіоге апітайоп аге 
пог ехесиіед оп Ше рагдугаге Би аге регіогтедй ута Ше пебмогк оп Ше гетоїе 5егуег ог оп 
Фе сіоца сотрийпе ге5ойигсез. 

Три5, ї6 5ромуп Ше ейеспуепез55 ої Ше (есрпоїову Бий и8іпе, сго885-ріайогт (0015 Їог 
тоденпе апа гесоєпійоп ої еЇетепіз ої ОКгаїпіап Часбу! 5ієп Іапецаєє аїрпареї. 


Надійшла до редакції 01.10.2016 
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